DragonflyBSD

应用操作系统特性的 BSD 分支

DragonFly 是一个以与 FreeBSD 采用的实现方式不同的方式来实现并发、SMP、集群以及其他操作系统特性的 BSD 分支。

关于
DragonFly 项目的创始人和目前的 leader,Matthew Dillon 曾经是 FreeBSD SMPng 项目的重要开发人员,在 FreeBSD 3.x 时代开始,他对 FreeBSD 虚拟内存子系统、VFS子系统等多个重要部分进行了重写和增强,这些工作给 FreeBSD 4.x 系列的可靠性和性能打下了坚实的基础。FreeBSD 项目于 2000 年 6 月在 Sunnyvale 的 Yahoo 公司总部举行了 SMP 峰会,并正式启动了 SMPng 计划,即利用 BSDi 捐赠的 BSD/OS 源代码和相关的设 计思想来改善 FreeBSD 的 SMP 能力。
Matthew Dillon 对 BSD/OS 中的许多实现并不满意,并在 SMPng 开发过程中展现了卓越的天赋和才华。由于 BSD/OS 与 FreeBSD 之间的巨大差异和时间限制,Matthew Dillon在开始移植细锁之后不久即决定重新实现上锁原语,而完成这些工作距离 SMPng 峰会结束仅经过几天时间。尽管如此,在随后的开发活动中,与其他开发人员不断爆发的冲突,导致他被多次停权警告,并最终撤销了commit权限。
2003年7月,Matt宣布在 FreeBSD 4.8-STABLE 的基础上的fork,并正式定名为 DragonFlyBSD (最初名字是TortoiseBSD,现在多称为 DragonFly)。与 FreeBSD 5.x 系列采用的细锁模型不同, DragonFly 采用消息模型作为内核的主要同步机制,并希望由此获得更好的可伸缩性。
DragonFly 同时采用了许多其他兄弟 BSD 系统的代码,其 malloc()函数的安全特性来自于OpenBSD,WiFi框架来自于FreeBSD 6,USB实现来源于NetBSD。许多 DragonFly 的特性也被移植到 FreeBSD 中。
目前 DragonFly 最值得关注的是 Matthew Dillon 新设计的 HAMMERFS 文件系统。
设计理念
DragonFly BSD初期打算改写FreeBSD 4中的几个子系统,包括了Cache、I/O架构、Messaging、Threading、User API及VFS架构。
目标和开发计划
DFBSD的最终目标是在内核中提供对通用集群系统原生的支持,为了达到此目标,DFBSD项目将开发分解为两个阶段。
第一个阶段从2003年至2007年初,主要关注对主要内核子系统的重写。这几乎涉及到所有的子系统,尤其是内核核心和文件系统的API。这也是第二阶段的准备工作。
第二个阶段主要是为文件系统命名空间、文件空间和VM空间创建一个精巧的cache管理框架,这将为横跨多台机器运行的重负荷交互性程序从各个方面完全保证cache的一致性,同时也解决了对资源的细分问题(包括通过可控的VM上下文来细分cpu资源),这样可为分布在internet的不安全的第三方集群实现安全的分配方式(即使这些集群自身都不清楚自己的安全性,对那些愿意捐赠系统(计算)资源的人来说最基本和最重要的事情是不要因为捐赠资源而遭到攻击)。
技术特色
Kernel design
同大多数现代内核一样,DragonFly的内核是混合型的,包含了微内核与统一内核的特色,并试图集成两种技术的优势。例如微内核的消息传递机制可以使OS能从被保护内存中节余更多空间;而统一内核在处理某些关键任务的速度方面更具优势。(DFBSD的)消息子系统看起来相似于某些微内核系统,例如Mach,虽然Mach设计的更加简单。DFBSD的消息子系统可以工作在同步或异步模式,并试图在给定条件下达到系统的最佳性能。
为达到项目的剩余目标,同时提供设备I/O和VFS的消息机制。新架构将允许内核的许多部分可以被转移到用户空间,其优点在于以更小的独立的程序取代了混杂在一起的大量代码,这使内核更小更容易调试;而那部分被允许在用户空间执行的内核代码带来的额外的好处是系统将更加稳定,即使用户空间的驱动崩溃了,内核也不会崩溃。
虽然同样被封装成消息,但实际上系统调用被分为用户空间版本和内核版本。把多种标准调用从内核转移到用户空间的兼容层有助于降低内核的的大小和复杂度,这就有助于维护DFBSD版本前向后向的兼容性。Linux和其他类UNIX系统的兼容性代码被转移出来就与此类似。DFBSD可在jails中创建原生用户空间兼容层的多个实例与UML(用户模式linux)就很相似。不同于UML(本质上宿主内核相当于一个不同的硬件平台,而UML是对其的一个linux移植)的是DFBSD的虚拟化对计算机的真实硬件不需要特殊驱动就可以直接通讯。
CPU localization
DFBSD中线程被设计成被CPU锁定,并且每个处理器有着自己的LWKT调度器。线程只能通过在cpu之间传递一个IPI(Interprocessor Interrupt)消息来转移,而不能依据优先级从一个处理器切换到另一个处理器。进程间的线程调度也是通过发送异步IPI消息来完成。(这样实现的)一个优点是通过线程子系统的明确的隔离使得SMP系统的处理器的板载cache不会包含重复数据,并通过给予系统里的每个处理器使用自己的cache来缓存不同的事物以达到更高的性能。
在多个内核线程间分割工作给各个LWKT子系统(举个网络代码的例子;每个处理器每个协议一个线程),通过在移除在多个内核任务中共享某些资源的需求来减轻冲突。但是这个DFBSD设计的与众不同的关键特性“CPU局部化算法的线程分割实现”是有争议的。
Protecting shared resources
为了能在多处理器的机器上安全的运行,对共享资源(文件、数据结构等)必须串行化,这样线程或者进程就不会在同一时刻修改同一资源。原子化操作自旋锁、关键代码段(Critical sections 是一小块用来处理一份被共享资源的代码,该段代码必须独占的对某些共享资源的访问权。这可以让多行代码以原子方式执行。如果一个线程进入了critical section,另外一个线程绝对不能进入该critical section)、互斥标记,串行令牌和消息队列与所有可能的方式都可被用来防止访问冲突。linux和FreeBSD 5采用细化锁互斥模型来实现多处理器系统的高性能,然而DFBSD却不是这样,为了防止多个线程同时访问或者修改共享资源,DFBSD使用了关键代码段和串行令牌技术。虽然直到最近,DFBSD仍在使用SPLs,但是将被关键代码段取代。
很多系统核心包含LWKT子系统,其他事物中的IPI消息子系统和新的核心内存分配器是没有加锁的,也就是说他们工作时没有使用互斥标记,并且在单CPU上运行。关键代码段用于保护本地中断,也在单CPU上运行,保证了一个当前运行的线程不会被先占有。
串行令牌被用来阻止对其他CPU的同时访问并控制多个线程的同时并发,确保在一个给定时间只有一个线程运行。不同于互斥方式,处于阻塞或者休眠状态的线程并不能防止别的线程对共享资源的访问。使用串行令牌可以阻止使用互斥方式时导致的很多死锁和优先级倒置的问题,这样极大的简化了一个需要在多个线程共享一个资源的多步程序的设计和实现。串行令牌的代码看起来于linux现在使用的”Read-copy-update”很相似,但不同于linux当前RCU的实现,DFBSD实现了竞争只影响到与同一个令牌相关的处理器,而不是计算机里所有的处理器。
Additional features
在开发初期,DFBSD就开发了一个slab分配器取代了FreeBSD 4的内核内存分配器。新的分配器不像它取代的那些代码,在内存分配时既不需要互斥,也不需要时阻塞操作。而且它是mpsafe的。
DFBSD使用SFBUF(Super-Fast Buffers)和MSFUBF(Multi-SFBUFs)。SFBUF是用来管理快速单页内存映射并在适当的时候对页面缓存。它们被用来回收一个单VM页相对数据的引用。(这个设计)简单而又强大,在此之上可以发展很多功能,比如说在sendfile系统调用里实现“zero-copy”。
内核里很多地方使用了SFBUF,比如在Vnode Object Pager和PIPE子系统(间接的如XIO)里用来支持高带宽传输。一个SFBUF只能对应一个单VM页;而MSFBUFs被用来管理多页的快速内存映射。
SFBUF这个概念最初是FreeBSD项目中的David Greenman在实现sendfile系统调用时设计的,后来的完善依赖于Dr. Alan L. Cox和Matthew Dillon。MSFBUFs则是由Hiten Pandya和Matthew Dillon设计的。
发布版本
Versiob 3.4.3 released 05 September 2013.
Version 3.2.1 released 02 November 2012.
Version 3.2.2 released 16 December 2012. See tagged commit for details.
Version 1.12.2 发布于 2008年4月20日
Version 1.12.1 发布于 2008年3月8日
Version 1.12.0 发布于 2008年2月26日
Version 1.10 发布于 2007年8月6日
Version 1.8 发布于 2007年3月27日
Version 1.6 发布于 2006年7月25日
Version 1.4 发布于 2006年1月7日
Version 1.2 发布于 2005年4月8日
Version 1.0 发布于 2004年7月12日
软件管理
在过去,DragonflyBSD使用FreeBSD的ports,同时可以选择使用NetBSD的软件包管理器pkgsrc。但从1.4版本发布后,pkgsrc便成为官方的软件包管理。为了支持pkgsrc,DragonflyBSD的开发者们维护了大量的第三方应用软件。
原创内容
acxcontrol - Texas Instruments ACX100/TNETW1130(ACX111) 网卡工具
battd - 电池状态监控守护进程
checkpt - 对进程还原点的恢复支持 (在一个兼容系统里串行进程状态可以被恢复)
dntpd - NTP客户端守护进程
ECC detection - 在ECC系统里检测内存错误
jscan - 扫描日志文件的程序
mount_udf - 挂接UDF文件系统
mountctl - 控制被挂接的文件系统的日志或其他特性
pctrack - 通过倾倒程序计数器跟踪内核记录的数据
rconfig - 远程配置客户端/服务器
rcrun (and family) - 管理启动脚本 (rcenable/rcdisable)
resident - 生成一个动态二进制文件的常驻内存副本
varsym - 获取和设置变量的符号连接
vkernel - 虚拟内核架构允许内核在用户空间运行
wmake - 在buildworld环境中构建DFBSD源代码
发展及发行
DragonFly BSD自FreeBSD 4.8分支后引入了许多FreeBSD 4与5的新功能以及修正,像是FreeBSD 4所发展的ACPI及新的ATA驱动程式。由于初期DragonFly BSD的发展人数不多,而且大多都集中精力在基本架构的修改,所以周边驱动程式大多都是从FreeBSD 5取得。
如同其他大多数的BSD,DragonFly以BSD license授权方式释出。
全国各地天气预报查询

上海市

  • 市辖区
  • 云南省

  • 临沧市
  • 云南省

  • 丽江市
  • 云南省

  • 保山市
  • 云南省

  • 大理白族自治州
  • 云南省

  • 德宏傣族景颇族自治州
  • 云南省

  • 怒江傈僳族自治州
  • 云南省

  • 文山壮族苗族自治州
  • 云南省

  • 昆明市
  • 云南省

  • 昭通市
  • 云南省

  • 普洱市
  • 云南省

  • 曲靖市
  • 云南省

  • 楚雄彝族自治州
  • 云南省

  • 玉溪市
  • 云南省

  • 红河哈尼族彝族自治州
  • 云南省

  • 西双版纳傣族自治州
  • 云南省

  • 迪庆藏族自治州
  • 内蒙古自治区

  • 乌兰察布市
  • 内蒙古自治区

  • 乌海市
  • 内蒙古自治区

  • 兴安盟
  • 内蒙古自治区

  • 包头市
  • 内蒙古自治区

  • 呼伦贝尔市
  • 内蒙古自治区

  • 呼和浩特市
  • 内蒙古自治区

  • 巴彦淖尔市
  • 内蒙古自治区

  • 赤峰市
  • 内蒙古自治区

  • 通辽市
  • 内蒙古自治区

  • 鄂尔多斯市
  • 内蒙古自治区

  • 锡林郭勒盟
  • 内蒙古自治区

  • 阿拉善盟
  • 北京市

  • 市辖区
  • 吉林省

  • 吉林市
  • 吉林省

  • 四平市
  • 吉林省

  • 延边朝鲜族自治州
  • 吉林省

  • 松原市
  • 吉林省

  • 白城市
  • 吉林省

  • 白山市
  • 吉林省

  • 辽源市
  • 吉林省

  • 通化市
  • 吉林省

  • 长春市
  • 四川省

  • 乐山市
  • 四川省

  • 内江市
  • 四川省

  • 凉山彝族自治州
  • 四川省

  • 南充市
  • 四川省

  • 宜宾市
  • 四川省

  • 巴中市
  • 四川省

  • 广元市
  • 四川省

  • 广安市
  • 四川省

  • 德阳市
  • 四川省

  • 成都市
  • 四川省

  • 攀枝花市
  • 四川省

  • 泸州市
  • 四川省

  • 甘孜藏族自治州
  • 四川省

  • 眉山市
  • 四川省

  • 绵阳市
  • 四川省

  • 自贡市
  • 四川省

  • 资阳市
  • 四川省

  • 达州市
  • 四川省

  • 遂宁市
  • 四川省

  • 阿坝藏族羌族自治州
  • 四川省

  • 雅安市
  • 天津市

  • 市辖区
  • 宁夏回族自治区

  • 中卫市
  • 宁夏回族自治区

  • 吴忠市
  • 宁夏回族自治区

  • 固原市
  • 宁夏回族自治区

  • 石嘴山市
  • 宁夏回族自治区

  • 银川市
  • 安徽省

  • 亳州市
  • 安徽省

  • 六安市
  • 安徽省

  • 合肥市
  • 安徽省

  • 安庆市
  • 安徽省

  • 宣城市
  • 安徽省

  • 宿州市
  • 安徽省

  • 池州市
  • 安徽省

  • 淮北市
  • 安徽省

  • 淮南市
  • 安徽省

  • 滁州市
  • 安徽省

  • 芜湖市
  • 安徽省

  • 蚌埠市
  • 安徽省

  • 铜陵市
  • 安徽省

  • 阜阳市
  • 安徽省

  • 马鞍山市
  • 安徽省

  • 黄山市
  • 山东省

  • 东营市
  • 山东省

  • 临沂市
  • 山东省

  • 威海市
  • 山东省

  • 德州市
  • 山东省

  • 日照市
  • 山东省

  • 枣庄市
  • 山东省

  • 泰安市
  • 山东省

  • 济南市
  • 山东省

  • 济宁市
  • 山东省

  • 淄博市
  • 山东省

  • 滨州市
  • 山东省

  • 潍坊市
  • 山东省

  • 烟台市
  • 山东省

  • 聊城市
  • 山东省

  • 菏泽市
  • 山东省

  • 青岛市
  • 山西省

  • 临汾市
  • 山西省

  • 吕梁市
  • 山西省

  • 大同市
  • 山西省

  • 太原市
  • 山西省

  • 忻州市
  • 山西省

  • 晋中市
  • 山西省

  • 晋城市
  • 山西省

  • 朔州市
  • 山西省

  • 运城市
  • 山西省

  • 长治市
  • 山西省

  • 阳泉市
  • 广东省

  • 东莞市
  • 广东省

  • 中山市
  • 广东省

  • 云浮市
  • 广东省

  • 佛山市
  • 广东省

  • 广州市
  • 广东省

  • 惠州市
  • 广东省

  • 揭阳市
  • 广东省

  • 梅州市
  • 广东省

  • 汕头市
  • 广东省

  • 汕尾市
  • 广东省

  • 江门市
  • 广东省

  • 河源市
  • 广东省

  • 深圳市
  • 广东省

  • 清远市
  • 广东省

  • 湛江市
  • 广东省

  • 潮州市
  • 广东省

  • 珠海市
  • 广东省

  • 肇庆市
  • 广东省

  • 茂名市
  • 广东省

  • 阳江市
  • 广东省

  • 韶关市
  • 广西壮族自治区

  • 北海市
  • 广西壮族自治区

  • 南宁市
  • 广西壮族自治区

  • 崇左市
  • 广西壮族自治区

  • 来宾市
  • 广西壮族自治区

  • 柳州市
  • 广西壮族自治区

  • 桂林市
  • 广西壮族自治区

  • 梧州市
  • 广西壮族自治区

  • 河池市
  • 广西壮族自治区

  • 玉林市
  • 广西壮族自治区

  • 百色市
  • 广西壮族自治区

  • 贵港市
  • 广西壮族自治区

  • 贺州市
  • 广西壮族自治区

  • 钦州市
  • 广西壮族自治区

  • 防城港市
  • 新疆维吾尔自治区

  • 乌鲁木齐市
  • 新疆维吾尔自治区

  • 伊犁哈萨克自治州
  • 新疆维吾尔自治区

  • 克孜勒苏柯尔克孜自治州
  • 新疆维吾尔自治区

  • 克拉玛依市
  • 新疆维吾尔自治区

  • 博尔塔拉蒙古自治州
  • 新疆维吾尔自治区

  • 吐鲁番市
  • 新疆维吾尔自治区

  • 和田地区
  • 新疆维吾尔自治区

  • 哈密市
  • 新疆维吾尔自治区

  • 喀什地区
  • 新疆维吾尔自治区

  • 塔城地区
  • 新疆维吾尔自治区

  • 巴音郭楞蒙古自治州
  • 新疆维吾尔自治区

  • 昌吉回族自治州
  • 新疆维吾尔自治区

  • 自治区直辖县级行政区划
  • 新疆维吾尔自治区

  • 阿克苏地区
  • 新疆维吾尔自治区

  • 阿勒泰地区
  • 江苏省

  • 南京市
  • 江苏省

  • 南通市
  • 江苏省

  • 宿迁市
  • 江苏省

  • 常州市
  • 江苏省

  • 徐州市
  • 江苏省

  • 扬州市
  • 江苏省

  • 无锡市
  • 江苏省

  • 泰州市
  • 江苏省

  • 淮安市
  • 江苏省

  • 盐城市
  • 江苏省

  • 苏州市
  • 江苏省

  • 连云港市
  • 江苏省

  • 镇江市
  • 江西省

  • 上饶市
  • 江西省

  • 九江市
  • 江西省

  • 南昌市
  • 江西省

  • 吉安市
  • 江西省

  • 宜春市
  • 江西省

  • 抚州市
  • 江西省

  • 新余市
  • 江西省

  • 景德镇市
  • 江西省

  • 萍乡市
  • 江西省

  • 赣州市
  • 江西省

  • 鹰潭市
  • 河北省

  • 保定市
  • 河北省

  • 唐山市
  • 河北省

  • 廊坊市
  • 河北省

  • 张家口市
  • 河北省

  • 承德市
  • 河北省

  • 沧州市
  • 河北省

  • 石家庄市
  • 河北省

  • 秦皇岛市
  • 河北省

  • 衡水市
  • 河北省

  • 邢台市
  • 河北省

  • 邯郸市
  • 河南省

  • 三门峡市
  • 河南省

  • 信阳市
  • 河南省

  • 南阳市
  • 河南省

  • 周口市
  • 河南省

  • 商丘市
  • 河南省

  • 安阳市
  • 河南省

  • 平顶山市
  • 河南省

  • 开封市
  • 河南省

  • 新乡市
  • 河南省

  • 洛阳市
  • 河南省

  • 漯河市
  • 河南省

  • 濮阳市
  • 河南省

  • 焦作市
  • 河南省

  • 省直辖县级行政区划
  • 河南省

  • 许昌市
  • 河南省

  • 郑州市
  • 河南省

  • 驻马店市
  • 河南省

  • 鹤壁市
  • 浙江省

  • 丽水市
  • 浙江省

  • 台州市
  • 浙江省

  • 嘉兴市
  • 浙江省

  • 宁波市
  • 浙江省

  • 杭州市
  • 浙江省

  • 温州市
  • 浙江省

  • 湖州市
  • 浙江省

  • 绍兴市
  • 浙江省

  • 舟山市
  • 浙江省

  • 衢州市
  • 浙江省

  • 金华市
  • 海南省

  • 三亚市
  • 海南省

  • 三沙市
  • 海南省

  • 儋州市
  • 海南省

  • 海口市
  • 海南省

  • 省直辖县级行政区划
  • 湖北省

  • 十堰市
  • 湖北省

  • 咸宁市
  • 湖北省

  • 孝感市
  • 湖北省

  • 宜昌市
  • 湖北省

  • 恩施土家族苗族自治州
  • 湖北省

  • 武汉市
  • 湖北省

  • 省直辖县级行政区划
  • 湖北省

  • 荆州市
  • 湖北省

  • 荆门市
  • 湖北省

  • 襄阳市
  • 湖北省

  • 鄂州市
  • 湖北省

  • 随州市
  • 湖北省

  • 黄冈市
  • 湖北省

  • 黄石市
  • 湖南省

  • 娄底市
  • 湖南省

  • 岳阳市
  • 湖南省

  • 常德市
  • 湖南省

  • 张家界市
  • 湖南省

  • 怀化市
  • 湖南省

  • 株洲市
  • 湖南省

  • 永州市
  • 湖南省

  • 湘潭市
  • 湖南省

  • 湘西土家族苗族自治州
  • 湖南省

  • 益阳市
  • 湖南省

  • 衡阳市
  • 湖南省

  • 邵阳市
  • 湖南省

  • 郴州市
  • 湖南省

  • 长沙市
  • 甘肃省

  • 临夏回族自治州
  • 甘肃省

  • 兰州市
  • 甘肃省

  • 嘉峪关市
  • 甘肃省

  • 天水市
  • 甘肃省

  • 定西市
  • 甘肃省

  • 平凉市
  • 甘肃省

  • 庆阳市
  • 甘肃省

  • 张掖市
  • 甘肃省

  • 武威市
  • 甘肃省

  • 甘南藏族自治州
  • 甘肃省

  • 白银市
  • 甘肃省

  • 酒泉市
  • 甘肃省

  • 金昌市
  • 甘肃省

  • 陇南市
  • 福建省

  • 三明市
  • 福建省

  • 南平市
  • 福建省

  • 厦门市
  • 福建省

  • 宁德市
  • 福建省

  • 泉州市
  • 福建省

  • 漳州市
  • 福建省

  • 福州市
  • 福建省

  • 莆田市
  • 福建省

  • 龙岩市
  • 西藏自治区

  • 山南市
  • 西藏自治区

  • 拉萨市
  • 西藏自治区

  • 日喀则市
  • 西藏自治区

  • 昌都市
  • 西藏自治区

  • 林芝市
  • 西藏自治区

  • 那曲市
  • 西藏自治区

  • 阿里地区
  • 贵州省

  • 六盘水市
  • 贵州省

  • 安顺市
  • 贵州省

  • 毕节市
  • 贵州省

  • 贵阳市
  • 贵州省

  • 遵义市
  • 贵州省

  • 铜仁市
  • 贵州省

  • 黔东南苗族侗族自治州
  • 贵州省

  • 黔南布依族苗族自治州
  • 贵州省

  • 黔西南布依族苗族自治州
  • 辽宁省

  • 丹东市
  • 辽宁省

  • 大连市
  • 辽宁省

  • 抚顺市
  • 辽宁省

  • 朝阳市
  • 辽宁省

  • 本溪市
  • 辽宁省

  • 沈阳市
  • 辽宁省

  • 盘锦市
  • 辽宁省

  • 营口市
  • 辽宁省

  • 葫芦岛市
  • 辽宁省

  • 辽阳市
  • 辽宁省

  • 铁岭市
  • 辽宁省

  • 锦州市
  • 辽宁省

  • 阜新市
  • 辽宁省

  • 鞍山市
  • 重庆市

  • 重庆市

  • 市辖区
  • 陕西省

  • 咸阳市
  • 陕西省

  • 商洛市
  • 陕西省

  • 安康市
  • 陕西省

  • 宝鸡市
  • 陕西省

  • 延安市
  • 陕西省

  • 榆林市
  • 陕西省

  • 汉中市
  • 陕西省

  • 渭南市
  • 陕西省

  • 西安市
  • 陕西省

  • 铜川市
  • 青海省

  • 果洛藏族自治州
  • 青海省

  • 海东市
  • 青海省

  • 海北藏族自治州
  • 青海省

  • 海南藏族自治州
  • 青海省

  • 海西蒙古族藏族自治州
  • 青海省

  • 玉树藏族自治州
  • 青海省

  • 西宁市
  • 青海省

  • 黄南藏族自治州
  • 黑龙江省

  • 七台河市
  • 黑龙江省

  • 伊春市
  • 黑龙江省

  • 佳木斯市
  • 黑龙江省

  • 双鸭山市
  • 黑龙江省

  • 哈尔滨市
  • 黑龙江省

  • 大兴安岭地区
  • 黑龙江省

  • 大庆市
  • 黑龙江省

  • 牡丹江市
  • 黑龙江省

  • 绥化市
  • 黑龙江省

  • 鸡西市
  • 黑龙江省

  • 鹤岗市
  • 黑龙江省

  • 黑河市
  • 黑龙江省

  • 齐齐哈尔市